The foundation models have recently shown excellent performance on a variety of downstream tasks in computer vision. However, most existing vision foundation models simply focus on image-level pretraining and adpation, which are limited for dynamic and complex video-level understanding tasks. To fill the gap, we present general video foundation models, InternVideo, by taking advantage of both generative and discriminative self-supervised video learning. Specifically, InternVideo efficiently explores masked video modeling and video-language contrastive learning as the pretraining objectives, and selectively coordinates video representations of these two complementary frameworks in a learnable manner to boost various video applications. Without bells and whistles, InternVideo achieves state-of-the-art performance on 39 video datasets from extensive tasks including video action recognition/detection, video-language alignment, and open-world video applications. Especially, our methods can obtain 91.1% and 77.2% top-1 accuracy on the challenging Kinetics-400 and Something-Something V2 benchmarks, respectively. All of these results effectively show the generality of our InternVideo for video understanding. The code will be released at https://github.com/OpenGVLab/InternVideo .

零击学习是一种学习制度，通过概括从可见类中学到的视觉语义关系来识别看不见的课程。为了获得有效的ZSL模型，可以诉诸于来自多个来源的培训样本，这可能不可避免地提高了有关不同组织之间数据共享的隐私问题。在本文中，我们提出了一个新颖的联合零摄影学习FedZSL框架，该框架从位于边缘设备上的分散数据中学习了一个中心模型。为了更好地概括为以前看不见的类，FEDZSL允许从非重叠类采样的每个设备上的训练数据，这些数据远非I.I.D.传统的联邦学习通常假设。我们在FEDZSL协议中确定了两个关键挑战：1）受过训练的模型容易偏向于本地观察到的类，因此未能推广到其他设备上的看不见的类和/或所见类别； 2）由于培训数据中的每个类别都来自单个来源，因此中心模型非常容易受到模型置换（后门）攻击的影响。为了解决这些问题，我们提出了三个局部目标，以通过关系蒸馏来进行视觉声音对齐和跨设备对齐，这利用了归一化的类协方差，以使跨设备的预测逻辑的一致性正常。为了防止后门攻击，提出了一种功能级防御技术。由于恶意样本与给定的语义属性的相关性较小，因此将丢弃低大小的视觉特征以稳定模型更新。 FedZSL的有效性和鲁棒性通过在三个零击基准数据集上进行的广泛实验证明。

近年来，压缩图像超分辨率已引起了极大的关注，其中图像被压缩伪像和低分辨率伪影降解。由于复杂的杂化扭曲变形，因此很难通过简单的超分辨率和压缩伪像消除掉的简单合作来恢复扭曲的图像。在本文中，我们向前迈出了一步，提出了层次的SWIN变压器（HST）网络，以恢复低分辨率压缩图像，该图像共同捕获分层特征表示并分别用SWIN Transformer增强每个尺度表示。此外，我们发现具有超分辨率（SR）任务的预处理对于压缩图像超分辨率至关重要。为了探索不同的SR预审查的影响，我们将常用的SR任务（例如，比科比奇和不同的实际超分辨率仿真）作为我们的预处理任务，并揭示了SR在压缩的图像超分辨率中起不可替代的作用。随着HST和预训练的合作，我们的HST在AIM 2022挑战中获得了低质量压缩图像超分辨率轨道的第五名，PSNR为23.51db。广泛的实验和消融研究已经验证了我们提出的方法的有效性。

冠状动脉血管造影（CCTA）易受各种扭曲（例如伪影和噪声）的敏感，这严重损害了心血管疾病的确切诊断。适当的CCTA血管级图像质量评估（CCTA VIQA）算法可用于降低错误诊断的风险。 CCTA VIQA的首要挑战是，冠状动脉的本地部分确定最终质量是很难找到的。为了应对挑战，我们将CCTA VIQA作为多种现实学习（MIL）问题，并利用基于变压器的MIL主链（称为T-MIL），以将沿冠状动脉中心线的多个实例汇总为最终质量。但是，并非所有实例都提供最终质量的信息。有一些质量 - 欧元/负面实例介入确切的质量评估（例如，在实例中仅涵盖背景或冠状动脉的实例是无法识别的）。因此，我们提出了一个基于渐进的增强学习的实例丢弃模块（称为PRID），以逐步删除CCTA VIQA的质量 - 欧尔特尔/否定实例。基于上述两个模块，我们根据端到端优化提出了一个加强的变压器网络（RTN），用于自动CCTA VIQA。广泛的实验结果表明，我们提出的方法实现了现实世界中CCTA数据集的最新性能，超过了以前的MIL方法。

广义的零射击学习（GZSL）旨在通过将语义知识从看见的类别转移到看不见的阶级来识别所见类和看不见的类别的图像。这是一个有希望的解决方案，可以利用生成模型的优势，以根据从所见类中学到的知识来幻觉现实的看不见的样本。但是，由于产生的变化，大多数现有方法的合成样本可能从看不见的数据的实际分布中偏离。为了解决这个问题，我们提出了一个基于流动的生成框架，该框架由多种条件仿射耦合层组成，用于学习看不见的数据生成。具体而言，我们发现并解决了触发产生转移的三个潜在问题，即语义不一致，方差崩溃和结构障碍。首先，为了增强生成样品中语义信息的反射，我们将语义信息明确嵌入到每个条件仿射耦合层中的转换中。其次，为了恢复真正看不见的特征的固有差异，我们引入了一种边界样本挖掘策略，具有熵最大化，以发现语义原型的更困难的视觉变体，并在此调整分类器的决策边界。第三，提出了一种相对定位策略来修改属性嵌入，引导它们充分保留类间的几何结构，并进一步避免语义空间中的结构障碍。四个GZSL基准数据集的广泛实验结果表明，GSMFlow在GZSL上实现了最先进的性能。

对于3D医学图像（例如CT和MRI）分割，在临床情况下分割每个切片的难度差异很大。先前以逐片方式进行体积医学图像分割的研究通常使用相同的2D深神经网络来细分同一情况的所有切片，从而忽略了图像切片之间的数据异质性。在本文中，我们专注于多模式3D MRI脑肿瘤分割，并根据自适应模型选择提出了一个名为MED-DANET的动态体系结构网络，以实现有效的准确性和效率折衷。对于输入3D MRI量的每个切片，我们提出的方法学习了决策网络的特定于切片的决策，以动态从预定义的模型库中选择合适的模型，以完成后续的2D分割任务。 Brats 2019和2020年数据集的广泛实验结果表明，我们提出的方法比以前的3D MRI脑肿瘤分割的最先进方法获得了可比或更好的结果，模型的复杂性要少得多。与最新的3D方法TransBT相比，提出的框架提高了模型效率高达3.5倍，而无需牺牲准确性。我们的代码将很快公开可用。

发言人识别系统（SRSS）最近被证明容易受到对抗攻击的影响，从而引发了重大的安全问题。在这项工作中，我们系统地研究了基于确保SRSS的基于对抗性训练的防御。根据SRSS的特征，我们提出了22种不同的转换，并使用扬声器识别的7种最新有前途的对抗攻击（4个白盒和3个Black-Box）对其进行了彻底评估。仔细考虑了国防评估中的最佳实践，我们分析了转换的强度以承受适应性攻击。我们还评估并理解它们与对抗训练相结合的自适应攻击的有效性。我们的研究提供了许多有用的见解和发现，其中许多与图像和语音识别域中的结论是新的或不一致的，例如，可变和恒定的比特率语音压缩具有不同的性能，并且某些不可差的转换仍然有效地抗衡。当前有希望的逃避技术通常在图像域中很好地工作。我们证明，与完整的白色盒子设置中的唯一对抗性训练相比，提出的新型功能级转换与对抗训练相比是相当有效的，例如，将准确性提高了13.62％，而攻击成本则达到了两个数量级，而其他攻击成本则增加了。转型不一定会提高整体防御能力。这项工作进一步阐明了该领域的研究方向。我们还发布了我们的评估平台SpeakerGuard，以促进进一步的研究。

最近的工作阐明了说话者识别系统（SRSS）针对对抗性攻击的脆弱性，从而在部署SRSS时引起了严重的安全问题。但是，他们仅考虑了一些设置（例如，来源和目标扬声器的某些组合），仅在现实世界攻击方案中留下了许多有趣而重要的环境。在这项工作中，我们介绍了AS2T，这是该域中的第一次攻击，该域涵盖了所有设置，因此，对手可以使用任意源和目标扬声器来制作对抗性声音，并执行三个主要识别任务中的任何一种。由于现有的损失功能都不能应用于所有设置，因此我们探索了每种设置的许多候选损失功能，包括现有和新设计的损失功能。我们彻底评估了它们的功效，并发现某些现有的损失功能是次优的。然后，为了提高AS2T对实用的无线攻击的鲁棒性，我们研究了可能发生的扭曲发生在空中传输中，利用具有不同参数的不同转换功能来对这些扭曲进行建模，并将其整合到生成中对手的声音。我们的模拟无线评估验证了解决方案在产生强大的对抗声音方面的有效性，这些声音在各种硬件设备和各种声音环境下保持有效，具有不同的混响，环境噪声和噪声水平。最后，我们利用AS2T来执行迄今为止最大的评估，以了解14个不同SRSS之间的可转移性。可传递性分析提供了许多有趣且有用的见解，这些见解挑战了图像域中先前作品中得出的几个发现和结论。我们的研究还阐明了说话者识别域中对抗攻击的未来方向。

下一代高分辨率汽车雷达（4D雷达）可以提供额外的高程测量和较密集的点云，从而在自动驾驶中具有3D传感的巨大潜力。在本文中，我们介绍了一个名为TJ4Dradset的数据集，其中包括4D雷达点用于自动驾驶研究。该数据集是在各种驾驶场景中收集的，连续44个序列中总共有7757个同步帧，这些序列用3D边界框和轨道ID很好地注释。我们为数据集提供了基于4D雷达的3D对象检测基线，以证明4D雷达点云的深度学习方法的有效性。可以通过以下链接访问数据集：https：//github.com/tjradarlab/tj4dradset。

未配对的图像到图像翻译旨在找到源域和目标域之间的映射。为了减轻缺乏源图像的监督标签的问题，通过假设未配对的图像之间的可逆关系，已经提出了基于周期矛盾的方法来保存图像结构。但是，此假设仅使用图像对之间的有限对应关系。最近，使用基于贴片的正/负学习，对比度学习（CL）已被用来进一步研究未配对图像翻译中的图像对应关系。基于贴片的对比例程通过自相似度计算获得阳性，并将其余的斑块视为负面。这种灵活的学习范式以低成本获得辅助上下文化信息。由于负面的样本人数令人印象深刻，因此我们有好奇心，我们基于一个问题进行了调查：是否需要所有负面的对比度学习？与以前的CL方法不同，在本文中，我们从信息理论的角度研究了负面因素，并通过稀疏和对补丁进行排名来引入一种新的负面修剪技术，以用于未配对的图像到图像翻译（PUT） 。所提出的算法是有效的，灵活的，并使模型能够稳定地学习相应贴片之间的基本信息。通过将质量置于数量上，只需要几个负贴片即可获得更好的结果。最后，我们通过比较实验验证了模型的优势，稳定性和多功能性。